Ông sinh ngày 28 tháng 9 năm 1926 tại làng Nghiêm Thắng, tại xã Đông Sơn, huyện Đô Lương, tỉnh Nghệ An.

Nguyễn Cảnh Toàn vào học ở Trường Quốc học Huế năm 1942 và tốt nghiệp tú tài Toán năm 1944. Đây là thời kỳ có các giáo sư người Pháp giảng dạy nên ông đã hấp thu được một số kiến thức tiến bộ của phương Tây.

Cuối năm 1946, trong kỳ thi toán học đại cương, Nguyễn Cảnh Toàn đã tham dự và đỗ thủ khoa. Năm 1947, trong thời gian kháng chiến, Sở Giáo dục Khu 4 triệu tập ông về dạy toán cho Trường Trung học chuyên khoa Huỳnh Thúc Kháng.[6]

Năm 1951, ông được Bộ Giáo dục Việt Nam điều lên dạy đại học ở Khu học xá Trung ương, đặt tại Nam Ninh (Trung Quốc).[6]

Năm 1954, Nguyễn Cảnh Toàn giảng dạy toán tại trường Đại học Khoa học Hà Nội.

Năm 1957, ông nằm trong số chín cán bộ giảng dạy đại học đầu tiên sang Liên Xô làm thực tập sinh. Năm 1958, ông bảo vệ thành công luận án Phó tiến sĩ (nay gọi là tiến sĩ) tại Đại học Lomonosov.

Trở về Việt Nam năm 1959, ông giảng dạy tại khoa Toán và tự nghiên cứu đề tài khoa học về hình học. Tháng 6 năm 1963, Nguyễn Cảnh Toàn bảo vệ thành công luận án Tiến sĩ khoa học tại Đại học Sư phạm Quốc gia Lênin với nhan đề "Lý thuyết đối hợp bộ n"[2]. Đây là luận án Tiến sĩ Khoa học đầu tiên về khoa học cơ bản của người Việt nghiên cứu ở trong nước và sang bảo vệ tại Liên Xô.

Sau khi bảo vệ luận án tiến sĩ khoa học về hình học, ông tiếp tục giảng dạy tại khoa Toán Đại học sư phạm Hà Nội và đảm nhiệm các chức vụ: chủ nhiệm bộ môn hình học, chủ nhiệm khoa toán, hiệu trưởng trường Đại học Sư phạm Hà Nội (1967 – 1975), Thứ trưởng Bộ Giáo dục, nay là Bộ Giáo dục và Đào tạo (1976 – 1989)[7].

Năm 1994, ông nghỉ hưu.

Cho đến năm 2006, ông vẫn tiếp tục nghiên cứu và giảng dạy bộ môn toán.[3]

Ông mất ngày 8 tháng 2 năm 2017 tại Hà Nội[8]